🚀 RDMA · 全流程实战
30章 · 从零到集群
⚡ GPU Direct · 友好色系
01
GPU Direct RDMA 概述
什么是GPU Direct RDMA · 为什么需要它 · 与传统架构对比
02
硬件环境准备
支持RDMA网卡 · GPU型号 · NVLink与PCIe拓扑
03
软件栈安装
NVIDIA驱动 · CUDA · OFED · fabricmanager
04
RDMA基础概念
IB vs RoCE · QP · MR · CQ
05
GPU与RDMA交互原理
GPUDirect数据流 · P2P · DMA引擎 · CPU角色
06
环境验证与基准测试
ib_write_bw · nvidia-smi topo · 直连验证
07
CUDA编程基础回顾
cudaMalloc · Kernel Launch · Stream与Event
08
RDMA编程基础 (libibverbs)
ibv_open_device · PD · CQ · QP · post_send/recv
09
GPU内存注册与MR
cudaMalloc → ibv_reg_mr · 锁页与对齐
10
零拷贝数据传输
GPU内存直接RDMA收发 · 绕过CPU · GPU-to-GPU
11
同步与异步机制
CUDA Stream + RDMA CQ · 全异步流水线
12
多GPU与多节点通信
NVLink + RDMA跨节点 · 混合通信拓扑
13
NCCL与GPU Direct RDMA
NCCL利用RDMA · Ring/AllReduce算法
14
NCCL环境配置
版本选择 · 环境变量 · 多网卡绑定
15
NCCL性能调优
NTHREADS · RINGS · ALGO选择
16
分布式训练框架集成 (PyTorch)
torch.distributed · NCCL后端 · DDP实战
17
分布式训练框架集成 (TensorFlow)
MultiWorkerMirroredStrategy · Horovod
18
数据并行训练实战
大Batch拆分 · AllReduce同步 · 线性加速
19
模型并行与流水线并行
张量并行 (Megatron) · 流水线 (GPipe) · RDMA
20
混合精度训练 (AMP)
FP16/BF16 · Loss Scaling · Apex · RDMA协同
21
通信计算重叠
梯度通信+反向计算 · CUDA Stream · 隐藏延迟
22
性能监控与Profiling
nsys分析 · GPU/CPU/RDMA时间线 · 定位瓶颈
23
常见问题排查
NCCL超时 · IB降速 · PCIe Switch · 注册失败
24
多租户与资源隔离
MIG · SR-IOV · GPU与网卡隔离
25
容器化部署 (Docker)
nvidia-docker · --gpus · --shm-size · RDMA设备
26
Kubernetes集群部署
GPU Operator · RDMA Device Plugin · Pod配置
27
云上GPU Direct RDMA
AWS EFA · Azure InfiniBand · GCP GPUDirect-TCPX
28
大规模训练案例 (GPT-3/LLaMA)
千卡拓扑 · 3D并行 · RDMA网络规划
29
未来趋势
NVLink Switch · CXL · DPU · 全光网络
30
课程总结与实战项目
4节点8卡集群 · ResNet-50/BERT · 性能报告
✨ 30章完整目录 · 点击卡片跳转对应章节 ✨